Création d'un EdS
Ce processus décrit les étapes de création d'espaces de stockage.
En entrée, il est alimenté avec :
- la demande d'un utilisateur métier
- les consignes fournies par une application
- si besoin, selon le moyen de stockage : les fichiers sources utiles à la création de l'EdS (fichiers .ddl pour créer des tables, scripts opensearch, ...) mis à disposition dans un projet gitlab
En sortie, l'espace de stockage est disponible, prêt à être utilisé.
Création d'un EdS
Les éléments relatifs aux espaces de stockage (documents et sources) sont fournis au sein d'un projet Gitlab. On y trouve notamment :
- la documentation et les scripts éventuels permettant de créer l'espace de stockage
- la documentation relative à la politique BeC (Besoin d'En Connaitre) à mettre en oeuvre si besoin
Le projet gitlab avec les éléments nécessaires à la création de l'EdS doit se trouver sous l'arborescence "Bac a Sable" ou "Projets" d'une zone métier.
Un Administrateur Données accède à l'IHM de l'outil EdS et crée l'EdS en suivant la procédure Créer un EdS
La création de l'EdS effectue les actions suivantes :
- la création de l'espace de stockage au sein du moyen de stockage (par exemple un bucket dans s3)
- la déclaration dans le Data Catalog
- l'initialisation d'un catalogue Trino
Gestion des accès aux EdS
Trino
Si l'EdS doit être accessible via Trino pour des utilisateurs métier, l'Administrateur Données et l'Administrateur Système doivent donner les permissions adéquates :
- l'Administrateur Système configure le catalogue et le met à disposition de l'Administrateur Données : procédure dans le DTU-MA
- l'Administrateur Données affecte les permissions dans superset : procédure Déclarer database - dataset
Applications tierces
A date les applications concernées sont : Superset, LabelStudio, Dataiku, OpenSearch Dashboard, PgAdmin
Si l'EdS doit être utilisé par un profil data X dans un outil d'exploration, l'Administrateur Données va configurer les accès.
L'Administrateur Données utilise les fonctions de création de comptes techniques ou de création de vues (suivant les moyens de stockage) pour obtenir les informations de connexion qu'il pourra :
- soit fournir à un utilisateur metier
- soit utiliser pour configurer les datasets dans les différents outils (Dataiku, Superset ...), puis donner l'accès à ces datasets aux utilisateurs data X qui en ont besoin
La création se fait via l'IHM EdS, en suivant la procédure Création d'un compte technique
La configuration d'un dataset dans un outil donne l'accès aux données à tous les utilisateurs qui accèdent à l'outil.
Utilisation métier des EdS via les KI
Les EdS sont utilisables par les applications métiers via leurs Kosmos Interface : KI.
Les applications du socle (Jupyter, datapipeline, IDU, SAp) s'appuient aussi sur les KI pour proposer des mécanismes de choix des EdS via leur nom afin de gérer de façon transparente pour les utilisateurs les problématiques d'accès.
Ce mécanisme est aussi ce qui permet de protéger les EdS de Production de l'écriture depuis le Bac à Sable ou l'EID :
- Une
règle de matchingqui s'appuie sur cesKIcontrôle l'utilisation des EdS par les applications (COTS ou applications métier) afin de restreindre les accès en fonction de l'environnement
Un COTS ou une application EID peut :
- lire dans un EdS de
PROD - lire/écrire dans un EdS
EID - ne voit pas les EdS
BAS
Les EdS sont créés avec un certain nombre d'attributs et d'étiquettes :
- les attributs sont utilisés par la politique ABAC d'accès aux EdS qui autorise ou non les utilisateurs à voir (et utiliser) les EdS.
- les étiquettes peuvent être utilisées dans les charts helm des application déployées pour restreindre les possibilités de matching.
Contrôle d'accès aux EdS
Ce mécanisme s'appuie sur un contrôle ABAC. Il permet à l'utilisateur de voir uniquement les EdS autorisés par la politique du socle. Cette politique est la suivante :
- la classification de l'EdS est inférieure à celle de l'utilisateur
- la zone de l'EdS fait partie de celles de l'utilisateur (au moins 1)
- l'environnement de l'EdS est inclus dans ceux de l'utilisateur
Cette politique s'applique, en complément du controle RBAC et BeC, dans les cas suivants :
